本文探讨了编码器和解码器语言模型在词语自然语言理解(NLU)任务上的性能,并广泛着重于语言语言。在扫描基准的基础上构建,最初仅限于评估编码器模型,我们将评估框架扩展到包括解码器模型。我们介绍了一种在NLU任务上进行评估解码器模型的方法,并将其应用于丹麦语,瑞典语,挪威,冰岛,法罗语,德语,德语,荷兰语和英语的语言。通过一系列的演出和分析,我们还解决了有关编码器和解码器模型的比较性能,NLU任务类型的影响以及跨语言资源的变化的问题。我们的发现表明,尽管参数的数量级较少,但编码器模型比解码器模型可以实现明显更好的NLU表现。此外,我们通过UMAP分析研究了解码器与任务性能之间的相关性,从而阐明了解码器和编码器模型的独特功能。本研究有助于更深入地了解NLU任务中的语言模型范例,并为多语言环境中的模型选择和评估提供了有价值的见解。
![arxiv:2406.13469v2 [CS.CL] 2025年1月11日PDF文件第1页](/bimg/8/8dba5de1293840641ac067cde2ecea25aeb19168.webp)
![arxiv:2406.13469v2 [CS.CL] 2025年1月11日PDF文件第2页](/bimg/f/f3c67a7694221f0ea361395819cdf66738ac95cd.webp)
![arxiv:2406.13469v2 [CS.CL] 2025年1月11日PDF文件第3页](/bimg/8/838afe35b815f3b34c9139e8213370ff563272df.webp)
![arxiv:2406.13469v2 [CS.CL] 2025年1月11日PDF文件第4页](/bimg/3/36244bce278b91b31f9441e988b917aaed7b761b.webp)
![arxiv:2406.13469v2 [CS.CL] 2025年1月11日PDF文件第5页](/bimg/4/4859d4c2543b970ee41200c03e02807b6c792be9.webp)
